เมื่อสิ้นสมเด็จพระนารายณ์ใน พ.ศ. 2231 สมเด็จพระเพทราชาขึ้นครองราชย์ต่อ ปานได้รับแต่งตั้งเป็น เจ้าพระยาโกษาธิบดี ว่าการพระคลัง[ต้องการอ้างอิง]

ใน พ.ศ. 2239 ปานถูกลงอาญาอยู่บ่อยครั้ง เนื่องด้วยเป็นที่นิยมในหมู่ราษฎร มีครั้งหนึ่งพระเพทราชากริ้วมาก ใช้พระแสงตัดปลายจมูกของปาน[13] บางแหล่งว่า ที่ถูกตัดจมูก เพราะเขาถูกกล่าวหาว่า จงรักภักดีต่อฝรั่งเศสและสมเด็จพระนารายณ์ [14]

ใน พ.ศ. 2242 เขาถูกลงพระราชอาญา ภรรยา อนุภรรยา รวมทั้งบุตรสาวและบุตรชาย ถูกคุมขัง ทรัพย์สมบัติก็ถูกริบหมด[13]

บางแหล่งว่า เขาตัดสินใจฆ่าตัวตายใน พ.ศ. 2243[14] บางคนว่า เขาใช้มีดแทงตัวตาย บางคนว่า เขาถูกโบยด้วยเชือกจนตาย[13]